2 Bootstrapping and Uncertainties
元が別々のブログ記事なので、内容のオーバーヘッドが見られる
2.4の最後の段落より
This section continued the discussion around biases and variances in evaluating machine learning models in more detail.
「機械学習モデルを評価するときのbiasとvarianceについての議論を詳細に続けた」(2.1〜2.2)
Further, it introduced the repeated hold-out method that may provide us with some further insights into a model’s stability.
「モデルの不変性についてさらなる洞察を提供するrepeated hold-out法を導入した」(2.3)
Then, we looked at the bootstrap method and explored different flavors of this bootstrap method that help us estimate the uncertainty of our performance estimates.
「ブートストラップ法を見て、汎化性能推定の不確実性を見積もるのを助けるブートストラップ法の別種を探索した」(2.4)
2.1 Overview
holdout method
やり方
normal approximation
モデル評価における、3つの関連するが別々のタスク
代わりとなるリサンプリング法を紹介する前の導入
holdout validationを繰り返すことで、より頑健な汎化性能の見積りを得る
ブートストラップ法
Leave-One-Out Bootstrap (LOOB)
.632 Estimate
.632+ Estimate